深度学习已被广​​泛用于推断强大的掌握。虽然最初用于学习掌握配置的人类标记的RGB-D数据集，但是这种大型数据集的准备是昂贵的。为了解决这个问题，通过物理模拟器生成图像，并且使用物理启发模型（例如，抽吸真空杯和物体之间的接触型号）作为掌握质量评估度量来注释合成图像。然而，这种联系方式复杂，需要通过实验进行参数识别，以确保真实的世界表现。此外，以前的研究还没有考虑机器人可达性，例如当具有高抓握质量的掌握配置由于机器人的碰撞或物理限制而无法到达目标时无法到达目标。在这项研究中，我们提出了一种直观的几何分析掌握质量评估度量。我们进一步纳入了可达性评估度量。我们通过拟议的评估度量对模拟器中的合成图像上的综合评估标准进行注释，以培训称为抽吸贪污U-Net ++（SG-U-Net ++）的自动编码器解码器。实验结果表明，我们直观的掌握质量评估度量与物理启发度量有竞争力。学习可达性有助于通过消除明显无法访问的候选者来减少运动规划计算时间。该系统实现了560pph（每小时碎片）的整体拾取速度。

Learning-from-Observation (LfO) is a robot teaching framework for programming operations through few-shots human demonstration. While most previous LfO systems run with visual demonstration, recent research on robot teaching has shown the effectiveness of verbal instruction in making recognition robust and teaching interactive. To the best of our knowledge, however, few solutions have been proposed for LfO that utilizes verbal instruction, namely multimodal LfO. This paper aims to propose a practical pipeline for multimodal LfO. For input, an user temporally stops hand movements to match the granularity of human instructions with the granularity of robot execution. The pipeline recognizes tasks based on step-by-step verbal instructions accompanied by demonstrations. In addition, the recognition is made robust through interactions with the user. We test the pipeline on a real robot and show that the user can successfully teach multiple operations from multimodal demonstrations. The results suggest the utility of the proposed pipeline for multimodal LfO.

Robot developers develop various types of robots for satisfying users' various demands. Users' demands are related to their backgrounds and robots suitable for users may vary. If a certain developer would offer a robot that is different from the usual to a user, the robot-specific software has to be changed. On the other hand, robot-software developers would like to reuse their developed software as much as possible to reduce their efforts. We propose the system design considering hardware-level reusability. For this purpose, we begin with the learning-from-observation framework. This framework represents a target task in robot-agnostic representation, and thus the represented task description can be shared with various robots. When executing the task, it is necessary to convert the robot-agnostic description into commands of a target robot. To increase the reusability, first, we implement the skill library, robot motion primitives, only considering a robot hand and we regarded that a robot was just a carrier to move the hand on the target trajectory. The skill library is reusable if we would like to the same robot hand. Second, we employ the generic IK solver to quickly swap a robot. We verify the hardware-level reusability by applying two task descriptions to two different robots, Nextage and Fetch.

We propose a light-weight and highly efficient Joint Detection and Tracking pipeline for the task of Multi-Object Tracking using a fully-transformer architecture. It is a modified version of TransTrack, which overcomes the computational bottleneck associated with its design, and at the same time, achieves state-of-the-art MOTA score of 73.20%. The model design is driven by a transformer based backbone instead of CNN, which is highly scalable with the input resolution. We also propose a drop-in replacement for Feed Forward Network of transformer encoder layer, by using Butterfly Transform Operation to perform channel fusion and depth-wise convolution to learn spatial context within the feature maps, otherwise missing within the attention maps of the transformer. As a result of our modifications, we reduce the overall model size of TransTrack by 58.73% and the complexity by 78.72%. Therefore, we expect our design to provide novel perspectives for architecture optimization in future research related to multi-object tracking.

本文从未分割的烹饪视频中解决了食谱生成，该任务要求代理（1）提取完成盘子时提取关键事件，以及（2）为提取的事件生成句子。我们的任务类似于密集的视频字幕（DVC），该字幕旨在彻底检测事件并为其生成句子。但是，与DVC不同，在食谱生成中，食谱故事意识至关重要，模型应以正确的顺序输出适当数量的关键事件。我们分析了DVC模型的输出，并观察到，尽管（1）几个事件可作为食谱故事采用，但（2）此类事件的生成句子并未基于视觉内容。基于此，我们假设我们可以通过从DVC模型的输出事件中选择Oracle事件并为其重新生成句子来获得正确的配方。为了实现这一目标，我们提出了一种基于变压器的新型训练事件选择器和句子生成器的联合方法，用于从DVC模型的输出中选择Oracle事件并分别为事件生成接地句子。此外，我们通过包括成分来生成更准确的配方来扩展模型。实验结果表明，所提出的方法优于最先进的DVC模型。我们还确认，通过以故事感知方式对食谱进行建模，提出的模型以正确的顺序输出适当数量的事件。

我们提出了一个名为“ Visual配方流”的新的多模式数据集，使我们能够学习每个烹饪动作的结果。数据集由对象状态变化和配方文本的工作流程组成。状态变化表示为图像对，而工作流则表示为食谱流图（R-FG）。图像对接地在R-FG中，该R-FG提供了交叉模式关系。使用我们的数据集，可以尝试从多模式常识推理和程序文本生成来尝试一系列应用程序。

游戏中的学习理论在AI社区中很突出，这是由多个不断上升的应用程序（例如多代理增强学习和生成对抗性网络）的动机。我们提出了突变驱动的乘法更新（M2WU），以在两人零和零正常形式游戏中学习平衡，并证明它在全面和嘈杂的信息反馈设置中都表现出了最后的题融合属性。在全信息反馈设置中，玩家观察了实用程序功能的确切梯度向量。另一方面，在嘈杂的信息反馈设置中，他们只能观察到嘈杂的梯度向量。现有的算法，包括众所周知的乘法权重更新（MWU）和乐观的MWU（OMWU）算法，未能收敛到具有嘈杂的信息反馈的NASH平衡。相反，在两个反馈设置中，M2WU表现出最后的近期收敛到NASH平衡附近的固定点。然后，我们证明它通过迭代地适应突变项来收敛到精确的NASH平衡。我们从经验上确认，M2WU在可剥削性和收敛速率方面胜过MWU和OMWU。

从2D前看声纳中检索声学图像中缺少的维度信息是水下机器人技术领域的一个众所周知的问题。有一些尝试从单个图像中检索3D信息的作品，该信息允许机器人通过飞行运动生成3D地图。但是，由于独特的图像配方原理，估计来自单个图像的3D信息面临严重的歧义问题。多视图立体声的经典方法可以避免歧义问题，但可能需要大量的观点来生成准确的模型。在这项工作中，我们提出了一种基于学习的新型多视角立体方法来估计3D信息。为了更好地利用来自多个帧的信息，提出了一种高程平面扫平方法来生成深度 - 齐路的成本量。正则化后的体积可以视为目标的概率体积表示。我们使用伪前深度来代表3D信息，而不是在高程角度上进行回归，而是可以避免声学成像中的2d-3d问题。只有两个或三个图像可以生成高准确的结果。生成合成数据集以模拟各种水下目标。我们还在大型水箱中构建了第一个具有准确地面真相的真实数据集。实验结果证明了与其他最新方法相比，我们方法的优势。

由于空间和时间变化的模糊，视频脱毛是一个高度不足的问题。视频脱毛的直观方法包括两个步骤：a）检测当前框架中的模糊区域； b）利用来自相邻帧中清晰区域的信息，以使当前框架脱毛。为了实现这一过程，我们的想法是检测每个帧的像素模糊级别，并将其与视频Deblurring结合使用。为此，我们提出了一个新颖的框架，该框架利用了先验运动级（MMP）作为有效的深视频脱张的指南。具体而言，由于在曝光时间内沿其轨迹的像素运动与运动模糊水平呈正相关，因此我们首先使用高频尖锐框架的光流量的平均幅度来生成合成模糊框架及其相应的像素 - 像素 - 明智的运动幅度地图。然后，我们构建一个数据集，包括模糊框架和MMP对。然后，由紧凑的CNN通过回归来学习MMP。 MMP包括空间和时间模糊级别的信息，可以将其进一步集成到视频脱毛的有效复发性神经网络（RNN）中。我们进行密集的实验，以验证公共数据集中提出的方法的有效性。

在这项研究中，我们考虑了两个玩家零和游戏中的正规领导者（FTRL）动力学的变体。在时间平衡策略时，FTRL保证会融合到NASH平衡，而许多变体都遭受了极限自行车行为的问题，即缺乏最后的介质收敛保证。为此，我们提出了一种突变FTRL（M-FTRL），该算法引入了用于动作概率扰动的突变。然后，我们研究了M-FTRL的连续时间动力学，并提供了强大的收敛保证，可以向固定点提供近似于NASH平衡的固定点。此外，我们的仿真表明，M-FTRL比FTRL和乐观的FTRL在全信息反馈下享有更快的收敛速度，并且在强盗反馈下表现出明显的收敛性。